Sau Hiệp định Genève, ông tập kết ra Bắc.

Tháng 5 năm 1955, ông được cử giữ chức Cục phó Cục Tác chiến, rồi Cục trưởng Cục Quân lực Bộ Tổng Tham mưu; hàm Đại tá (1958)

Từ tháng 8 năm 1963, ông giữ chức Phó Tổng Tham mưu trưởng Quân đội Nhân dân Việt Nam.

Tháng 2 năm 1964, ông được điều vào Nam với bí danh Sáu Nam, giữ chức Phó Tư lệnh kiêm Tham mưu trưởng Quân Giải phóng Miền Nam.

Ngày 16 tháng 11 năm 1967, thân mẫu Lê Đức Anh (cụ Lê Thị Thoa) qua đời đúng lúc Lê Đức Anh đang chuẩn bị cho Tổng tiến công nổi dậy Tết Mậu Thân 1968 ở Bộ Chỉ huy miền Nam.[1]

Năm 1969, Lê Đức Anh được điều về làm Tư lệnh Quân khu 9.

Ngày 23 tháng 6 năm 1969, thân phụ Lê Đức Anh mất khi Lê Đức Anh đang chỉ huy chiến trường miền Tây Nam Bộ.[1]

Cuối năm 1974, ông được điều trở lại chức Phó Tư lệnh Quân Giải phóng miền Nam. Cũng trong năm này, ông và Đại tá Đồng Sĩ Nguyên và được phong vượt cấp từ Đại tá lên Trung tướng. Trong 11 năm tham gia đánh Mỹ, ông đã trực tiếp chỉ huy 4 trận đánh lớn:

• Mùa khô năm 1966 – 1967, tướng Lê Đức Anh trực tiếp chỉ đạo đánh bại Chiến dịch Junction City của quân đội Mỹ và các nước đồng minh.
• Năm 1973, ông chỉ huy việc phá âm mưu bình định, tràn ngập lãnh thổ sau khi có Hiệp định Paris của quân đội VNCH ở địa bàn quân khu 9.
• Năm 1974, ông chỉ huy Chiến dịch Đường 14 – Phước Long, giải phóng tỉnh Phước Long và thăm dò khả năng phản công của quân đội VNCH.
• Năm 1975, ông được cử giữ chức Phó Tư lệnh Chiến dịch Hồ Chí Minh, kiêm Tư lệnh cánh quân Tây Nam đánh vào Sài Gòn. Từ tháng 5 năm 1976, ông là Tư lệnh Quân khu 9. Đến tháng 6 năm 1978, là Tư lệnh kiêm Chính ủy Quân khu 7, chỉ huy trưởng cơ quan tiền phương Bộ Quốc phòng ở mặt trận Tây – Nam.